Cadwell sinh ở Everett, Washington, là con gái của Vivian và Everett Emery.[2] Gia đình cô là Baptist và có nguồn gốc Thụy Điển và Anh.[3][4] Linda đã gặp Lý Tiểu Long khi cô đang học Trường trung học Garfield, nơi Lý Tiểu Long biểu diễn Kung Fu; anh đang theo học Đại học Washington vào thời điểm đó. Cuối cùng, cô đã trở thành học trò Kung Fu của Lý Tiểu Long khi cô học dự bị y khoa Đại học Washington.Linda đã viết cuốn sách năm 1975 có tựa Bruce Lee: Người đàn ông duy nhất tôi đã biết (ISBN 0-446-89407-9), và từ truyện này đã được dựa vào để chuyển thể thành phim năm 1993 Dragon: The Bruce Lee Story. Cô được vào vai bởi nữ nghệ sĩ Lauren Holly trong phim này.[5] Lee cũng viết cuốn sách 1989 The Bruce Lee Story (ISBN 0897501217).